Optimización distribuida con métodos primal-dual cuantizados
Descubre q-PDGD, un método primal-dual cuantizado que logra convergencia lineal en optimización distribuida con gradientes estocásticos y comunicación de bits limitados.
#optimización distribuida
TAMUNA: Doble Aceleración con Participación Parcial
TAMUNA combina entrenamiento local, compresión y participación parcial en optimización distribuida. Logra convergencia doblemente acelerada. ¡Descúbrelo!
Desmitificando el paralelismo de pipelines: teoría para PipeDream
Descubre cómo PipeDream logra convergencia en entrenamiento distribuido con un nuevo análisis teórico no convexo. Comparativa con LocalSGD.
Equilibrios no lineales en modelos de juego potencial para aprendizaje federado
Descubre cómo los modelos de juego potencial revelan transiciones críticas en el aprendizaje federado, optimizando el equilibrio entre esfuerzo y recompensa.
Local MixVR: Rompe Dependencia Comunicación-Muestra en Aprendizaje Distribuido
Descubre Local MixVR, el primer método de aprendizaje distribuido que elimina la dependencia de la comunicación con el número de muestras. ¡Optimiza tu modelo!
Estabilidad en momento matricial ortogonalizado con muestreo de clientes
Estudio de estabilidad en generalización para optimización distribuida con momentos ortogonalizados y muestreo de clientes. Se derivan cotas finitas bajo heterogeneidad de datos.
DeMoA: Agregación de Momento Retrasado con Participación Parcial
DeMoA optimiza aprendizaje federado con participación parcial, resistiendo ataques bizantinos incluso si dominan clientes maliciosos. ¡Eficiencia y seguridad!
Teoría exacta de algoritmos de error feedback en optimización distribuida
Aprende cómo los algoritmos de error feedback logran convergencia óptima en optimización distribuida con compresión de gradientes. Análisis para EF y EF21.